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Abstract of DE1 9631 41 4 

A device proposed for the capturing of the image 
of the outside world on the retina of the human 
eye using a scanning capturing device, whereby 
beams from the outside world are transmitted via 
the lenses of eye glasses, whose inner sides are 
shaped as convex image-forming beam-splitting 
mirrors and in which a biaxial scanner device is 
provided for the capturing of the re-dispersed 
beam of light from each point on the retina and 
the outgoing parallel beam of light from the eye, 
together with its image and deflection, transfering 
the luminous beam to an optoelectronic detector 
for serial capturing of the retinal reflex images. 
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) Es wird eine Vorrichtung zur Aufnahme des auf der 
menschltchen Netzhaut des Auges abgebildeten Bildes der 
AuBenwelt mtt Hilfe einer scannenden Aufnahmevorrichtung 
vorgeschlagen, bei der die Strahlen der Au&enwalt durch die 
GISser einer Brille transmittleit werden, die auf ihren 
Innensaften als gewoibte abbiidende Strahlteilerspiegel ge- 
staltet sind und bei der zur Aufnahme des von Jedem Punkt 
der Netzhaut zurOckgestreuten und aus dem Auge austre- 
tenden parallelen Strahlenbundel und zu ihrer Abbitdung 
und Umlentcung eine zweiachsiga Scanvorrichtung vorgese- 
hen ist, die das LichtbOndel zu oinem opto-elektronlschen 
Detetctor zur seriellen Aufnahme des Natzhautreflexes wei- 
terleitet. 
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Beschreibung 

Die Erfmdung betrifft eine Vorrichtung, die es ermdg- 
licht, das auf der Netzhaut des menschlichen Auges pro- 
jizierte Bild der AuBenwelt in RUckstreuung aufzuneh- 
men, dieses mit elektronischer Bildverarbeitung zu mo- 
difizieren, bzw. mit zusatzlichen Informationen zu er- 
ganzen, und mit Hilfe einer Laserstrahlmodulation und 
•ablenkung zuriick ins Auge mit dem Originalbild zu 
uberlagem. 

Mit dem zunehmenden Bedarf an Infonnationen und 
ihrer ubersichtlichen bildiiaften Visualisierung wachsen 
die technischen Anforderungen an die Aufnahme, Ver- 
arbeitung und \^edergabe von Bildern. Der rasche 
Fortschritt auf diesen Gebieten geht Hand in Hand mit 
der immer schneller werdenden Bildverarbeitung durch 
Computer. 

Das Hauptanwendungsgebiet der elektronischen 
Bildverarbeitung ist heute die Weiterverarbeitung von 
Bildern, die von Kameras, Abtastsystemen und Senso- 
ren, sowohl im sichtbaren Lichtbereich, als aucii in ande- 
ren Bereichen des elektromagnetischen Spektrums, wie 
Z.B. im Intrarot-. Radio- und ROntgenbereich, aufge- 
nommen werden. Nach der elektronischen Bearbeitung 
werden die Bilder als Einzelbilder, bzw. als bewegte 
Bilder auf einer BilddarstellungsflSiche (Display) zur In- 
formadonsaufnahme des Auges wiedergegeben. 

Mit Hiife der elektronischen Bildverarbeitung ist es 
einerseits mdglich, besondere Bildinhaite leichter er- 
kennbar zu machen. Hierf Or eingefiihrte Techniken, sind 
Z.B. Ortsfrequenzfilterung, Kantenverscharfung, Bild- 
datenkompression, Bildkorrelation, Dynamikreduzie- 
rung und Falschfarbenkodierung. Andererseits befassen 
sich weitere Techniken mit der uberlagerung oder Sub- 
traktion von Zusatzbildem aus verschiedenen Spektral- 
bereichen, oder der Oberlagerung von gespeicherten 
PlSnen, Landkarten, und Zeichnungen in das Original- 
bild 

Fur viele Anwendungen, ist eine praktisch verzoge- 
rungsfreie Bilddarstellung fOr das Auge von groBem 
Vorteil, wie z. B. beim FOhren eines Flugzeuges, eines 
SchiffeSy eines Fahrzeuges oder bei der Steuerung und 
Oberwachung von Prozessen und FertigungsstraBen. 
Mit der Bildverarbeitung kann eine gezieite Erhohung 
bzw. Reduktion des Informationsgehaltes des aktueilen 
direkten Bildes durchgefOhrt werden. Die Anwendun- 
gen reichen von Erhdhung des Bildkontrastes bis zur 
Einblendung von Zusatzinformationen und Kennzeich- 
nung von Details und Gef ahren. 

In den meisten dieser Anwendungen ist es nachteilig» 
daB die elektronische Kamera ein von dem Auge des 
Menschen getrenntes "zweites Augensystem" darstellt, 
denn zum einen werden die Bilder von einem anderen 
Aufnahmeort aus gesehen und zum anderen werden auf 
dem Bildschirm an einem anderen Betrachtungsort als 
den des Auges dargestellt Das menschiiche Auge muB 
somit zwischen der direkten und der indirekten Beob- 
achtung, mit imterschiedlichen Betrachtungswinkeln, 
Bildausschnltten und GrdBenverhaltnissen stindig 
wechsein, was zu kdrperlichen Beeintrachtigungen und 
Verzdgenmgenbei Entscheidungsvorg^ngen fuhrt 

Diese Einschrdnkung konnte zum Teil mit Hilfe der 
Technik des "Head-Up-Displays (HUDy, bei der FQh- 
rung von Kampfflugzeugen dadurch geldst werden, dafi 
wichtige Informationen wie Instumentenanzeigen und 
2Iieldaten in die offene Brille des Pilotenhelmes und da- 
mit in das Gesichtsfeld des Piloten eingeblendet werden. 
Diese Technik wird auch versuchsweise in der Automo- 
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bilindustrie zur Einblendtmg von Instruinentenanzeigen 
in die Windschutzscheibe eingesetzt, damit der Fahrer 
von der Beobachtung der vor ihm liegenden StraBe 
nicht abgelenkt wird 
5 Eine bekannte Weiterentwicklung dieser Technik ist 
die sogenannte **virtual realitv", oder "cyberspace" Hier 
werden in einer geschlossenen Brille, d h. einer Brille in 
der die Sicht nach auBen versperrt ist, mit dem HUD 
bewegte raumliche VoUbilder realitatsnah in das Auge 

10 projiziert und interaktiv mit den K6rperbewegungen 
wie etwa der Fortbewegung, Armbewegung, Fingerbe- 
wegung, Kopf- und Augenbewegung verandert. 

In dem HUD wird das Bild auf einem Bildschirm ge- 
neriert und nach Reflektion an der Brillenoberfiache in 

15 das Auge eingeblendet Das Auge sieht sozusagen uber 
die Brille als Vollspiegel auf das Display "um die Ecke 
henmi" und bei der offenen Brille mit einem teildurch- 
lassigen Spiegel gleichzeitig die AuBenwelt Da das Dis- 
play mit dem Kopf verbunden ist, folgt das Bild den 

20 Kopfbewegungen. 

Einige HUDs sind mit einem "eye tracker" ausgeru- 
stet, der die Augenbewegungen mit Hilfe eines Bewe- 
gungssensor am Augapfel oder einer ICamera die Bewe- 
gungen der Augenpupillen oder der GefaBstruktur der 

25 Netzhaut verfolgt Das im HUD projizierte Bild kann 
dann entsprechend den Bewegungen innerhalb des Ge- 
sichtsfeldes elektronisch verschoben werden. 

Zur akkommodationsfreien Entspannimg des Auges 
kann das Bild des HUDs Qber die Projektionsoptik ins 

30 Unendliche" versetzt werden. Mit der Einstellung un- 
terschiedlicher Biickwinkel der beiden Augen zum glei- 
chen Gegenstand, wird ein stereoskopisches, d h. raum- 
liches Sehen ermdglicht 

Diese Anwendungen und Techniken verdeutlichen 

35 zum einen den hohen Stand der elektronischen Bildver- 
arbeitung, die mit vertretbarem technischen Aufwand 
bereits in der Lage ist, bewegte Bilder mit akzeptabler 
Qualitat fast verzogerungsfrei zu verarbeiten, zum an- 
deren den zunehmenden Bedarf an direkter BildUber- 

40 tragung ins Auge. 

Der heutigen Technik der HUDs sind jedoch Gren- 
zen gesetzt Die Genauigkeit der automatischen Verfol- 
gung der Augenbewegungen mit dem "eye tracker" ist 
wesentlich schlechter als die Ausrichtegenauigkeit und 

45 die Bildaufldsung des Auges. Als Folge schwebt oder 
tanzt das eingeblendete Bild in dem Gesichtsfeld herum, 
was zu einer ungenauen ZielHndung und ErmQdung des 
Auges fiihrt 

Aus diesem Grunde beschrlnkten sich die bisherigen 
50 Anwendungen der Vollbilddarstellung auf die geschlos- 
sene Brille, dh. die ausschlieBliche Einblendung von 
Fremdbildem. Die Anwendungen der offenen Brille mit 
der zusatzlichen Sicht nach auBen sind dagegen noch 
auf die Einblendung einfacher Zusatzinformationen in 
55 Form von Texten, Symbolen oder Bildumrissen be- 
schrzlnkt 

Eine voUstandige raumliche und zeidiche Oberlap- 
pung von eingeblendeten Bildern auf das von dem Auge 
wahrgenommene reale Bild setzt die exakte rslumliche 

60 und zeitliche Obereinstimmung der beiden Bilder auf 
der Netzhaut voraus. Diese kann erst durch eine direkte 
Aufnahme des NetzhautbUdes und durch eine anschlie- 
Bende fast verzdgerungsfreie deckungsgleiche Projek- 
tion des neuen Bildes auf das reale Bild hergestellt wer- 

65 den, was die 2^elsetzung der Erfindung ist 

Es soli hier zundchst der Stand der Techniken der 
Aufnahme von Netzhautreflexbildem, der Bildabta- 
stung aus dem Augeninneren imd der Projekdon von 
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Laserbildem direkt ins Auge, von der die Erfindung aus- 
geht, dargestellt und diskutiert werden. 

Die technische Reaiisierung einer kontinuierlichen 
Abbildung des Netzhautreflexes der AuBenwelt setzt 
eine verwertbare optische Reflexion der Netzhaut vor- 
aus- Ihr Reflexionsvermdgen ist z. B. von RC Delori und 
K.P. Pflibsen in der Arbeit "Spectral reflectance of the 
human ocular fundus", Applied Optics. Vol 28, No. 6, 
(1989) ausfOhrlich gemessen worden. Ab dem blauen 
sichtbaren Bereich (450 nm) mit dem niedrigen Wert 
von 0^% nimmt das Reflexionsverm5gen der Netzhaut- 
grube bis 10% im langwelligen roten Bereich (750 nm) 
monoton zu. Im Bereich der groflten Augenempfindlich- 
keit und des scharfsten Sehens im grun-gelben Bereich 
zwischen 500 nm und 600 nm liegt das Reflexionsver- 
mdgen dann zwischen 1 % und 2%. 

Ein Aufnahmesystem, fur diesen Reflex, muB deshalb 
fiir eine urn den Faktor 50— 100 geringere Leuchtdichte 
der Netzhaut als des Gegenstandsraumes ausgelegt 
sein. Eine weitere Beeintr^chtigung der verfugbaren 
Lichtmenge ist durch die GrdBe der Augenpupille von 
1— 7nmi gegeben, die im Vergleich zu den iiblichen 
technischen Aufnahmesystemen wie Photo- und Video- 
kameras, relativ klein ist Die Aufnahme des von der 



chen Lichtsignalen bei dem stark verrauschtem Hinter- 
grund gegeniiber der parallelen Aufnahmetechnik eine 
Reihe anderer Vorteile, die den Nachteil der kurzen 
Integrationszeit wettmachen. Diese sind: 

5 

— serielle Signalverarbeitung, die eine direkte ana- 
loge Weiterverarbeitung des Bildes in Echtzeit er- 
mdglicht 

— effiziente Streulichtunterdruckung durch das 
10 kleine momentane Gesichtsf eld der Abtastung 

— rauscharme hohe Vorverstarkung der verwen- 
deten Avalanche- Photodioden und Photomulti- 
pliem 

— hohe Signaldynamik, die den starken Variatio- 
15 nen der Bildhelligkeit auf der Netzhaut entgegen- 

konrnit 

— effiziente analoge RauschunterdrQckung, z.B. 
durch phase-Iock-in-Detektion bzw. Signal-Korre- 
lation 

20 — einf ache Behebung von Abbildungsfehlem. 

Fur die Zielsetzung der Erfindung ist jedoch der ent- 
scheidende Vorteil der seriellen Bildabtastung die wei- 
tere Moglichkeit sie mit einer zeitversetzten synchro- 



Netzhaut reflektierten Lichtes setzt aus diesen beiden 25 nen seriellen Laser- Bildprojektion ins Auge zu kombi- 
Grunde einen besonders empfindlichen Lichtsensor nieren eroffnet 



voraus. 

Es ist bekannt, daB ein strukturiertes Reflexbild un 
Bereich der Netzhautgrube oder Fovea centralis bei der 
Abbildung im Auge entsteht Dies wird z. B. von Cam- 
pell, F.W. and Green. D.G. in dem Artikel: "Optical and 
Retinal Factors Affecting Visual Resolution" J. PhysioL 
181, 576—593 (1965) beschrieben. Hier wurde erne hell 
erleuchtete ausgedehnte Gitterstruktur auf die Netz- 
haut abgebildet und das durch das Auge reflektierte Bild 
mit einem Teilerspiegel aus dem Strahlengang abge- 
lenkt und auBerhalb des Auges in einer Bildebene scharf 
abgebildet Die flachenhafte Abbildung des Gitters nach 
der Reflexion an der Netzhaut, d h. nach zweimaligem 
Durchgang durch das Auge, diente der Bestinmiung der 
Modulationsubertragungsfunktion des Auges. Die pho- 
tometrische Auswertung zeigte daB die Qualitat des Re- 
flexbildes, der von dem Auge selbst wahrgenonunene 
Bildqualit^t sehr nahe kommt 



Wegen dieser Vorteile der seriellen Aufnahme gegen- 
iiber Film und Videoaufnahmen werden sie seit Anfang 
der funfziger Jahre vor allem fCir die Bildaufnahme im 
30 Mikroskop eingesetzt Eine senelle Abtastung kann 
dreierlei realisiert werden, erstens durch eine flichen- 
hafte Beleuchtung des Gegenstandes und einer punkt- 
formigen Abtastung mit einem Photoempfanger, zwei- 
tens der Abtastung des Gegenstandes mit einer punkt- 
fdrmigen Lichtquelle und flachenhafter Aufnahme mit 
dem Photoempfanger und drittens durch die punktfor- 
mige Beleuchtung und die gleichzeitige punktfdrmige 
Abtastung mit dem Photoempfanger mit Verwendung 
der gieichen Scaneinrichtung. Die zwei ersten Metho- 
den werden als "flying spot" und die dritte als '*confocal 
scanning" Aufnahmetechnik bezeichnet 

In den beiden ersteren ist entweder die Quelle oder 
der Empfanger starr und dafUr jeweils der Empfanger 
Oder die Quelle auf dem Gegenstand in Bewegung. In 



35 



40 



Die von Campell u.al. verwendete geschlossene stati- 45 dem dritten werden Quelle und Empfanger gemeinsam 



sche Aufnahmevorrichtung mit extrem heller Bildbe 
leuchtung (Blitzlicht) am ruhig gestellten Auge ist nicht 
geeignet um die lichtschwachen dynamischen Bilder der 
AuBenwelt auf der Netzhaut bei den raschen, nattirli- 
chen Eigenbewegungen des Auges aufzunehmen. Dies 50 
erfordert lichtempfindliche, schnelle Detektoren und ei- 
ne Aufnahmetechnik, die in dem offenen Strahlengang 
Fremdiicht sehr effizient unterdrQckt und Bilder minde- 
stens mit der Wiederholfrequenz der Qblichen Video- 
normen aufnehmen kann. 55 

Heute kommen dafflr in Frage die CCD-Kameras, die 
alle Bildpunkte parallel nach einer festen Integrations- 
zeit aufnehmen, und seriell scannende Bildaufnahmesy- 
steme mit Emzeldetektoren (Photodioden oder Photo- 
multipliern), in denen die Bildpunkte zeitlich hinterein- eo 
ander abgetastet werden. Beide Techniken sind den iib- 
lichen Videonormen angepaBt 

Ein grundsatzlicher Vorteil der Verwendung der 
CCD- Aufnahmetechnik ist die lange Integrationszeit in 
jedem Bildpunkt von z. B. 20 ms, gegenuber der kurzen 55 
Verweildauer in jedem Bildpunkt von nur 40 ns beim 
Scannea Die serielle Aufnahmetechnik hat jedoch fur 
die Aufnahme der sehr schwachen, schnell veranderli- 



m dem scannenden Abtastpunkt (konfokal) abgebildet, 
aber sind gegeneinander unbeweglich. 

Eine Aufnahme des flachenhsiten Netzhautreflexes 
der AuBenwelt mit einem scannendem Photoempfan- 
ger, wie die Erflndung vorschlagt, ist in diesem Sinne die 
erste Art der "flying spof* Bildaufnahmetechnik. Eine 
zeitversetzte synchrone Laserbildprojekton mit Hilfe 
der gieichen Scaneinrichtung kann im Sinne der gemein- 
samen punktformigen scannenden Abbildung von Be- 
leuchtungsquelle und Photoempfanger auf der Netz- 
haut als eine konfokale scannende Technik aufgefaBt 
werden, aber keine konfokal scannende Aufnahmetech- 
nik, weil die RoUen des Photoempfangers und des La- 
sers gegeniiber der konventionellen Anwendung ver- 
tauscht sind. In der Erfindung dienen die Empfangssi- 
gnale zur zeitversetzten Modulation der Laserquelle, 
bei dem iiblichen Verfahren dient die Laserquelle zur 
Beleuchtung beim gleichzeitigen Emj>fmg der Lichtsi- 
gnale. 

Um den Neuheitsgrad der Erfindung und ihrer techni- 
schen AusfOhrungen besser sichtbar zu machen, soil der 
Stand der Anwendungen der Bildaufnahme und Laser- 
projektion ins Auge nachfolgend genauer dargelegt 
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werden. 

O. Pomemtzeff und R.H. Webb haben als erste die 
zweite Art der "flying spot" Aufnahmetechnik mit Hilfe 
eines gescannten Laserstrahles als Beleuchtungsquelle 
und einem starren groBflachigen Photomultiplier als 
Empfanger zur Aufnahme der Innenstruktur des Auges 
in dem US Patent 4,213,678 von Sept 1980 "Scanning 
Ophthahnoscope for Examining the Fundus of the Eye" 
i)eschrieben. 

Eine Erweiterung dieser Technik zu einer konfokalen 
Anordnung mit dem gleichzeitigen scannen der Laser- 
strahl und der Empfangsachse des Photomultipliers, 
wurde von R. H. Webb, G. W. Hughes und F.C Delori in 
dem Artikel "Confocal scanning laser ophthalmoscope" 
in Applied Optics, Vol 26, No. 8, pp 1492-1499 (1987) 
vorgestellt 

In diesem Gerat wird die Netzhaut durch einen La- 
serstrahl rasterformig abgetastet Der Laserstrahl be- 
leuchtet Punkt fur Punkt und Zeile fOr Zeile die Vorlage. 
Der Photoempfanger (Photomultiplier) miBt das jeweils 
reflektierte Licht und setzt die MeBwertfolge in ein Vi- 
deosignal um. Ein Femsehmonitor steilt das Videosignal 
schlieBIich als Bild dar. Diese drei Vorg^nge erfolgen 
exakt synchron. Wahrend der Laserstrahl Zeile fur Zeile 
den Augenhintergnmd abtastet, wird gleichzeitig das 
Femsehsignal aufgebaut 

Der Laserstrahl durchl^uft zunlchst einen Modulator, 
iiber den die Beleuchtungsintensitat gesteuert werden 
kann. Die horizontale Zeilen-Ablenkung wird meist mit 
einem schnell drehenden PolygonspiegeL die Vertikal- 
ablenkung durch einen Schwingspiegel durchgefOhrt 
Der Drehpunkt der Abtastbewegung liegt in der Puppil- 
lenebene des Auges. Das vom Augenhintergrund reflek- 
tierte bzw. zuriickgestreute Licht wird uber die gesamte 
Pupillendffnung gesammelt und dem Photoempfanger 
aber eine Abbildungsoptik zugeleitet Die Strahlablen- 
kung wird dadurch ruckg^ngig gemacht, und man erhalt 
ein stationares Lichtbundei, das auf einer kleinen Detek- 
torflache abgebildet wird. 

Die MOglichkeit der Verwendung der konfokalen Ab- 
bildung im Ophthalmoskop zur Projektion von kunstli- 
chen Bildem mit Hilfe einer Laserprojektion in das Au- 
ge, wurde von Webb u. al in dem obengenannten Arti- 
kel erkannt und wie folgt beschrieben: . . . The laser 
beam is deflected by a fast (15-kHz) horizontal scanner 
and a slow (60- Hz) vertical scanner to project a standard 
format TV raster on the retina. Modulation of the beam 
permits projection of graphics or even gray scale pictu- 
res in the raster. While the patient is seeing the TV 
picture projected on his/her retina, an hnage of the reti- 
na is displayed on a TV monitor . . 

Die Direktprojektion von modulierten Lichtreizen 
und Mustern wird in den modemen Laser-Scan Opht- 
hahnoskopen (wie z. B. von der Firma Rodenstock in 
MQnchen) hauptsSlchlich fQr Visusanalysen, Video- Vi- 
susbestimmungen und Kontrastempfindlichkeitsmes- 
sungen bei jeweils nur einer Laserwelleniinge verwen- 
det 

Weitere VorschlsLge zur direkten BilderQbertragung 
mit Lasem ins Auge smd aus den folgenden zwei Schrif- 
ten bekannt: 

In der europSischen Patentschrift 0 473 343 Bl von Nov. 
1995 der Firma Sony Corporation mit dem Titel "Direct 
viewing picture image display apparatus" ist ein Direkt- 
sicht-Bildwiedergabegerat bekannt, das im wesentli- 
chen nur die technischen Losungswege aus den fruher 
bekannten und hier bereits zitierten Verdffentlichungen 
der konfokalen Abbildung beinhaltet, und in den auf 



dem markteingefuhrten Laser Scanning-Ophthahnosco- 
pen, wie der Firma Rodenstock Instrumente in Mfin- 
chen realisiert worden sind. 
Die technische Losung zur Erweiterung der Bildiiber- 
5 tragung von nur einer auf drei Farben, die in den An- 
spruchen 10 und 1 1 dieses Patentes beschrieben wird, ist 
auch in anderen Laser-Display-Anlagen seit vielen Jah- 
ren realisiert und stellt deshalb ebenso kerne Neuheit 
dar. Die Verschiebung der Tiefenlage der Bilder auf der 

10 Netzhaut, die in den AnsprQchen 12 bis 16 beschrieben 
ist, wird durch gleichartige MaBnahmen in den bereits 
existierenden Ger^ten durchgef uhrt 

Die Trennung von zwei Strahlen durch Polarisations- 
unterscheidung wie sie in Anspruch 16 bis 19 und in 

15 Hg. 6 des Patentes beschrieben wird, um ein gleiches 
Bild in beide Augen zu projizieren, ist grunds^tzlich eine 
ungeeignete Methode um "echte" dreidimensionale Bil- 
der darzusteUen, da diese Bilder hier keinen perspektivi- 
stischen Unterschied aufweisen. Daruber hinaus erlaubt 

20 diese Methode keine dynamische und inctividuelle An- 
passung an die Augenausrichtung und ist deshalb tech- 
nisch schwer umsetzbar. 

In einer zweiten europ^ischen Anmeldung der Hrma 
Motorola Inc. Nr. 0 562 742 Al mit der Bezeichnung 

25 Direct retinal scan display von August 1993 wird ein 
Direktsicht-BUdwiedergabegerSt beschrieben, das wie 
das oben beschriebene Patent von Sony auch die direkte 
Bildubertragung auf die Netzhaut betrifft, jedoch mit 
dem Unterschied, daB die Projektion ttber die Umlen- 

30 kung uber eine dem Menschen aufgesetzte Brille durch- 
gefuhrt wird 

Diese Patentanmeldung bringt gegentiber der lange 
bestehenden Technik keine neue Ldsungsansatze. Die 
direkte Montage des gesamten Displays am Kopf des 
35 Betrachters im Anspruch 4 bzw. die Verwendung einer 
Umlenkung des Strahlenganges des Projektors fiber ei- 
ne Brille im Anspruch 5 ist bei "virtualreality" Brillen 
bzw. bei Head-Up-Display im Pilotenhehnen bereits 
eingefflhrt 

40 Damit eine Abbildung auf der Netzhaut gelingt, mOs- 
sen verschiedene optische Anforderungen an die Laser- 
strahlumlenkung erfOllt werden, die auBer der besonde- 
ren Auslegimg der StrahlfiUirung nach der Strahlablen- 
kung, auch eine spezielle Brillenglaswdlbung erfordert 

45 Die Wege zur Ldsung dieser grundlegenden optischen 
Problematik werden in dieser letztgenannten Patentan- 
meldung jedoch nicht betrachtet oder erwthnt 



Beschreibung der ErHndung 



50 



Die Erfindung schlagt eine seriell arbeitende Aufnah- 
me- und Projektionsvorrichtung vor, die es ermdglicht, 
die auf der Netzhaut des menschlichen Auges beim na- 
tiirlichen Sehvorgang erzeugten Bilder der AuBenwelt 
55 aufzunehmen und mit elektronischer Bildverarbeitung 
zu modifizieren, bzw. zu ergSUizen. Dieses Bild dann 
nachfolgend mit Hilfe von Laserstrahlbildprojektion zu- 
rQck ins Auge zu projizieren und mit dem Originalbild 
synchron zu Gberlagem. Die Erfindung sieht femer vor, 
60 dafi sowohi bei der Aufnahme, als audi bei der Projek- 
tion gleichzeitig die Strahlung aller Grundfarben Rot, 
Grun und Blau detektiert bzw. projiziert wird. 

Diese Aufgabe ist grundsdtzlich eine andere als die 
eines konfokalen Laser-Scanning-Opthahnoskops bei 
65 dem die Netzhaut im gleichen Abtastvorgang gleichzei- 
tig beleuchtet und abgebildet wird, denn in der Anord- 
nung gemaB der Erfindung wird in einem ersten Abtast- 
zyklus das flSchenhafte Reflexbild der AuBenwelt nach 
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dem "flying spot" Verfahren abgetastet und erst in ei- 
nem zweiten zeitlich getrennten Abtastzyklus das nach- 
gearbeitete Laserbild auf die Netzhaut projiziert In ei- 
nam dritten Abtastvorgang wird wieder das Reflexbild 
gewonnen, in dem vierten wieder das Laserbild proji- 
ziert usw. Da diese VorgSnge zeitlich so schnell wech- 
seln, entsteht far das Auge, wie bei der Betrachtung vom 
Fernsehen oder Film, ein kontinuieriicher Ablauf in dem 
das Laserbild synchron und deckungsgleich, unabhSngig 
von den Augenbewegungen, dem Originalbild folgt 

Die Erfmdung unterscheidet sich auch von alien dem 
Anmelder bekannten Vorschlagen zur direkten Laser- 
projektion ins Auge, sowohl der Projektion von Fremd- 
bildem in der geschlossenen Brille (cyberspace), als auch 
der Zusatzbildem in einer offenen Brille (HUD), durch 
die hier zum ersten Male vorgeschiagene direkte Kop- 
pelung der Projektion mit dem momentanen Bildinhalt 
der Aufienwelt und die neuartigen technischen Ausfuh- 
rungen zu ihrer Realisierung. 

Die Aufnahme und bildhafte Weiterverarbeitung des 
Netzhautreflexes ist durch den raschen Fortschritte in 
der Aufnahme- und Verarbeitungstechnik von schwa- 
chen optischen Signalen moglich geworden. Die Be- 
strahlungsstarke die die Netzhaut in der naturlichen 
Umgebung ausgesetzt ist betrEgt von der hellsten Au- 
Benbeleuchtung von 10"* W cm"^ bis etwa 10"^ W 
cm~^. Bei schwacher Innenbeleuchtung, unter Lesebe- 
dingungen betragt sie 10"^ W cm"^ bis 10"^ W cm"*^ 
(siehe z. B. "Safety with Lasers and Other Optical Sour- 
ces", D. Sliney and M. Wolbarsht, 1980). Mit einem Pho- 
ton-Counting Photomuitiplier und punktueiler Abta- 
stung mit Lasem in einer TV-Norm wurde eine Emp- 
findlichkeit bis zu 2 x 10"^ W cm"^ bei einem Signai- 
Rauschverhaitnis von 5 erreicht (s. RH. Webb et al, 
"Flying spot TV ophthahnoscope". Applied Optics, Vol 
19. No. 17, pp. 299 (1980). 

Eine Erhdhung der Empfindlichkeit bis 10"^ W cm"^ 
kann z. B. erreicht werden durch verbesserte Rauschun- 
terdruckung, eine verringerte Ortsaufldsung, bzw. durch 
die Verwendung eines Spiral-Scans anstatt des TV-Ra- 
sterscans, der eine reduzierte Scan-Geschwindigkeit in 
der Mitte des Gesichtsfeldes und damit eine verlangerte 
Integrationszeit dort bietet 

Die Aufgabe der Erfindung wird durch die in An- 
spruch 1 und 2 angegebenen Merkmale gelost In den 
Unteranspruchen sind vorteilhafte Ausgestaltungen und 
Weiterbildungen angegeben. 

In der nachfolgenden Beschreibung wird die Erfin- 
dung anhand von AusfUhrungsbeispielen eriautert Die 
Figuren erganzen diese ErlHuterungen. Es zeigt: 

Fig. 1 ein Schemabild eines AusfOhrungsbeispieles 
der Aufnahme- und Projektionsvorrichtung ins Auge 
nach Ansprflchen 1 bis 5 in einer Ausfuhrung wo die 
Abbildung zwischen dem Scanner und Auge fiber zwei 
konkave reflektierende Fiachen einen Hilfspiegels HS 
und die Innenseite der Brille BG durchgefiihrt wird. 

Fig. 2 ein Schemabild eines Ausfuhningsbeispieles 
der Aufnahme- und Projektionsvorrichtung ins Auge 
nach Anspriichen 1 bis 4 und 6 in einer Ausfuhrung wo 
die Abbildung zwischen dem Scanner und dem Auge an 
der konkaven Hilfsspiegelfiache BG', einer konvexen 
Hilfsspiegel HS' und der konkaven Innenseite des Bril- 
lengiases BG durchgefiihrt wird 

Fig- 3 ein Schemabild eines Ausfiihrungsbeispieles 
des starren Strahlenganges zwischen Aufnahme- und 
Projektionsvorrichtung mit Photoempfangem und La- 
sermoduiatoren nach Anspnich 14. 

Fig. 4 ein Schemabild eines AusfOhrungsbeispieles 



der flexiblen Kopplung der Aufnahme und Projektions- 
vorrichtung an den Strahlumschalter und Scaneinheit 
mit Hilfe von flexiblen Glasfasem nach Anspruch 15. 
Fig. 5 ein Schemabild eines Ausfiihrungsbeispieles 
5 der Anbringung der Aufnahme- und Projektionsvor- 
richtung fur beide Augen in einem Brillengestell. 

Fig. 6 ein Schemabild eines Ausfuhrungsbeisplel des 
Straflenganges im Scanner bei Aufnahme des Netz- 
hautreflexes und anschiieBender Projektion des Bildes 
10 auf die Gegenstande der AuBenwelt, durch eine Um- 
schaltung des horizontalen Scanspiegels um einen Win- 
kel von 90® nach Anspruch 23. 

Fig. 7 ein Schemabild der opto-elektronischen und 
elektronischen Untereinheiten und ihren Verbindungen. 
15 Fig. 8 em Schemabild des zeitlichen Ablaufs der Ab- 
tast- und Laserprojektionsvorgange 

Fig. 9 ein Schemabild des in Mikrobauweise im Bril- 
lengestell integrierten Scanner mit Glasfaserkopplung 
zu einer tragbaren Empfangs- und Projektionseinheit 
20 und drahtioser Obertragung zum Bildverarbeitungs- 
computer. 

Die Erfindung schl^gt gemaB dem Anspruch 1 eine 
scannende Aufnahmevorrichtung vor um den licht- 
schwachen Reflex von GegenstSnde der AuBenwelt 

25 AW auf der Netzhaut NH des Auges AA seriell aufzu- 
nehmen wie, in den Fig. 1 bis Fig. 3 dargestellt ist 

Die gleiche Abbildungs- und Scanvorrichtung wird 
auch verwendet um das verarbeitete Bild mit Hilfe von 
Lasem und Bildmodulatoren uber den entgegengesetz- 

30 ten Uchtweg auf die Netzhaut zeitversetzt gemaB An- 
spruch 2 zu projizieren, wie auch in Fig. 1 bis Fig. 3 
dargestellt ist 

Der zentrale Gegenstand der Erfindung ist eine spe- 
zielle Brille, die einem Betrachter aufgesetzt wird, wie in 

35 Fig. 5, Fig. 6 und Fig. 9 gezeigt ist Die Brillengl^er BG 
dienen als Strahlteiler. In Transmission, fOr das Licht aus 
der AuBenwelt und in Reflexion, als eine Abbildungsflt- 
che des von der Netzhaut durch das Auge riickgestreu- 
ten Uchtes, das mit Hilfe weiterer Abbildungselemente 

40 und eines zweiachsigen Scanner fur die Horizontal- 
HSS und Vertikalablenkung VSS einem Photoempfin- 
ger zugefiihrt wird (Fig. 1 bis Fig. 4). 

Der Strahlengang wird gleichzeitig derart gestaltet 
daB die Verlangerung der Sichtlinie vom Detektor 

45 durch die Brille immer in der absorbierenden Schicht 
einer Strahlungssenke SS mundet Die Verl&igerung 
der Sichtlinie des Auges durch die BriUe liuft dagegen 
zur AuBenwelt AW (Fig. 1 bis Fig. 6). 
Die einfachste Methode der Strahlteilung an den Bril- 

50 lengl^em BG ist die Verwendung von 50% transmittie- 
renden und 50% reflektierenden Spiegelgl^m. Es 
kdnnen auch aktive elektronisch steuerbare Spiegel, die 
von vollst^diger Transmission bis vollstandiger Refle- 
xion in den beiden Abtastzyklen imischalten, eingesetzt 

55 werden. 

Das Auge AA bildet von der AuBenwelt AW parallele 
Oder nahezu parallele Strahibilndel auf der Netzhaut ab. 
Der Drehpunkt der Strahlbiindel bei unterschiedlichen 
Betrachtungswinkel zur AuBenwelt liegt in der Pupille 

60 des Auges AP. 

Die Erfindung geht von einer gieichzeitigen Aufnah- 
me und Projektion in beide Augen wie in Fig. 5 und 
Fig. 6 gezeigt wird und damit einem weitgehend identi- 
schen Strahlengang fflr das linke und rechte Auge. Bei 

65 Fehlsichtigen, auch mit unterschiedlicher Brechkraft des 
linken und rechten Auges, sieht die Erfindung vor, daB 
entweder die Brillengl^er in ihrer Brechung durch ent- 
sprechende unterschiedliche Auslegung der Wdlbung 
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der Aufienseite und der Innenseite individuell angepaBt Die Erfindung sieht aus diesen Grunden auBer der 
sindybzw.daBKontaktlinsengetragen werden.FurNor- Verwendung eines Rasterscans in Anspruch 9 auch in 
malsichtige ist die W5lbung der innen- und Aufienseite dem Anspruch 10 auch vor, daB dutch eine entsprechen- 
derBrillenglaserdieBrillengl&erBGidentisch. de Auslegung und Ansteuerung der beiden Strahlab- 

DasvonjedemeinzelnenBiidpunktderNetzhautaus 5 lenkeinheiten ein Spiralscan auch verwendet werden 
dem Auge zurruckgestreute Licht ist in gleicher Weise kann. 

eine nahezu paralleles StrahlenbUndel, der den identi- \i^e in einem Laser-scanning-ophthalmoskop wird 
schen Weg wie das einfallende Licht in entgegengesetz- der Strahlengang zwischen dem Projektions- und Emp- 
ter Richtung auf die Innenseite des teilweise reflektie- fangskanal mit Hilfe eines Schaltspiegels SUS getrennt 
renden Brillenglases BG failt Die Kriimmung dieser 10 Da der Durchmesser des Projektionsstrahls wegen der 
Flache wird so gestaltet, daB gemeinsam mit der Augen- guten Bundelung und dem kleinen Durchmesser der La- 
llnse ein zweites Bild des Bildpunktes auf der Netzhaut serstrahlen kleiner ausgelegt werden kann als der Emp- 
inderZwischenebeneZEentsteht(Fig. 1). Ein Hilfsspie- fangsstrahl bietet sich die Mdgiichkeit an einen Loch- 
gel HS, koUimiert die Strahlen emeut und bildet sie so spiegel zur Trennung der beiden Strahleng^ge wie in 
ab, daB sie iiber den gememsamen Drehpunkt (sie auf 15 Fig. 3 und Fig. 4 dargestelit ist, zu verwenden. Eine effi- 
der anderen Seite durch die Augenpupille) auf der Ach- zientere Methode, die sich wegen der zeitlich aitemie- 
se des horizontalen ScannersplegeLs HSS verliuft Eine renden Verwendung der beiden StrahlengEnge ergibt, 
vertikale Ablenkung wird durch einen zweiten Scanner- ist der Einsatz eines Kippspiegels der die Strahlengtnge 
Spiegel VSS durchgefuhrt synchron mit der Abtastung umschaltet Diese Losung 

Die Abbildung aus und ins Auge mit Hilfe der beiden 20 hat die Vorteile der geringeren optischen Verluste im 
Spiegel, Hilfsspiegel und Brillenglasspiegel bei gleich- Empfangskanal und der besseren optischen Abschir- 
zeitiger freier Sicht durch das Brillenglas BG zur Au- mung des direkten Obersprechens von Projektions- in 
Benwelt AW erfordert relativ starke Strahlablenkung. den Empfangskanal. 

Die gegenlaufige Umlenkung fiber zwei konkave Spie- Im Strahlgang der Projektionseinheit hinter dem 
gelflache hebt zum Teil die dabei auftretenden Abbil- 25 Strahlschaher SUS ist wie in Fig. 3 gezeigt sieht die 
dungsfehler auf. Der gegenlaufige sonst identische Erfindungsmeldung im Anspruch 17 eine Fokussierein- 
Strahlengang von Bildaufnahme und Bildprojektion richtung FE, die die GrdBe des Laserbildflecks in An- 
vermeidet auch zum groBen Teil die Entstehung von spruch 17 und des abgetasteten Flecks beim Empfang 
Bildverzerrungen im Auge auf, GFB in Fig. 3 auf der Netzhaut einstellt Zur Einstellung 

Bei spharischen Spiegebi treten jedoch wegen ihren 30 des von den Photomuitipliem gesehenen momentanen 
starken Abbildungsfehlem trotzt der relativ kleinen er- Gesichtsfeldes dient nadi Anspruch 18 eine gemeinsa- 
forderlichen Ablenkwinkel von < ± 10^ restliche Bild- me Gesichtsfeidbiende GFB im Strahlengang zweier 
stdrungen auf. FQr die Abbildung und Umlenkung ins Linsen. Die Einstellung der Gesichtsfeldblenden ist zur 
Auge sind deshalb hochwertigere Spiegelsysteme, wie Anpassung an die Beleuchtungsverhiltnisse an der 
konkave Parabolspiegel und elliptische Spiegel in An- 35 Netzhaut und zur Einstellung der erwfinschten Ortsauf- 
spruch 5 vorgesehen. Eine effiziente Reduktion der Ab- losung notwendig. Es ist vorgesehen, daB beide Einstel- 
bildungsfehler ist nach Anspruch 6 auch mit Hilfe der lung fiber Aktoren automatisch nach Rechnerbefehl 
Spiegelung an zwei konkaven BG und BG' und einer durchgefOhrt werden kdnnen wie in Fig. 7 dargestelit 
konvexen Flache HS moglich. Hier kann als VoUspiegel- wird. 

flache BG* die zweite Halfte des Brillenglases, gleicher 40 Es ist in Anspruch 12 vorgesehen, daB der Netzhaut- 
konkaven Krummung wie BG verwendete werden, reflex mit der Verwendung von dichroitischen Filtem 

Die Erfindung geht davon aus daB jede Art von zwei- (DFR, DFG und DFB) und drei getrennten Detektoren 
achsigen Bildscannem verwendet kdnnen wie z. B- (PMR, PMG und PMB) in bis zu drei Farbkanalen auf- 
Drehspiegel oder Polygonspiegel fur Zeilenablenkung geteilt ist und damit ein weitgehend unverfalschtes 
und Schwingspiegel fflr Vertikalablenkimg bzw. akusto- 45 Farbbiid aufgenommen werden kann* Auf der Lasersei- 
optischeAblenkeinheitenffir beide Achsea te wird ebenso mit dichroitischen Strahlteilem die 

Mit einer rasterformigen Abtastspur mit getrennter Strahlen von bis zu drei Lasem im roten, grunen und 
horizontaler und vertikaler Ablenkung kann der Aufbau blauen Spektralbereich (LR, LG, LB) nach der getrenn- 
des Bildes konform mit den gebr^LuchUchen Video-Nor- ten Bildmodulation jeder Farbe (MR, MG» MB) auf ei- 
men wie VHS und NTSC und HDTV gestaltet werden 50 nergemeinsamen Achsevereinigt 
(Anspruch 9). Zur farbtreuen Bildaufnahme wird das optische Si- 

Es kdnnen aber andere Abtastspuren, die dem Bild- gnal mit dichroitischen Filtem DFR DFG und DKB im 
aufbau des Auges besser angepaBt sind als der Raster- Empfangskanal in die drei Farbkomponenten vor den 
scan, verwendet werden, wie z. B. ein Spiralscan. Die drei Photoempfangem, verzugsweise Photomuitipliem 
groBte Sehscharfe in der Netzhaut (Retina) ist im Be- 55 PMR, PMG und PMB in die drei Grundfarben zerlegt 
reich der sogenannten Fovea centrales, die im Gesichts- und getrennt vermessen. Wegen der schwachen Lichtsi- 
feld nur einen kleinen Winkelbereich von etwa ± 2^* um gnale werden vor allem Photon-counting Verfahren 
die Sehachse aufnimmt Wenn sich die Aufmerksamkeit zum Einsatz kommen. 

auf ein Objekt richtet, werden die Augen normalerweise Die Erfindung sieht f emer vor, daB das von dem De- 
so bewegt, daB die vom fixierten Objekt ausgehenden eo tektor aufgenommene elektronische Bild nach einer 
Strahlen auf die Fovea centralis fallen. Bildverarbeitung mit Hilfe von Laserstrahlquellen und 

Ein Spiralscan der Bildabtastung, in dem die Aufent- -modulatoren wieder in ein serielles optisches Bild um- 
haltsdauer des Abtaststrahles in Richtung ztir Sehachse gewandelt wird, und in einem zweiten Bildzyklus mit der 
kontinuierlich zunimmt, w^re dadurch wesentlich besser gleichen optischen Einrichtung, — jetzt in der Funktion 
dem Aufbau der Netzhaut angepaBt als ein Rasterscaa 65 als Strahiablenkeinheit (Laser-Scanner) — nach Refle- 
Durch die verltogerte Aufenthaltsdauer wird dadurch xion an der Brillenglasinnenflache in das Auge synchron, 
auch ein entsprecbend hdheres Signal/Rauschen-Ver- aber zeitversetzt mit der Abtastung des Originalbildes 
haitnis in dem mittieren Bereich erreidit zuriickprojiziert wird 
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Die Erfindung schlagt vor in Anspruch 20 die Peri- 
oden der Bildaufnahme und Bildprojektion zeitlich zu 
trennen, d. h. alternierend durchzufuhren wie in Fig. 8 
dargestellt ist, urn eine StSrung der Aufnahme des 
schwachen Netzhautbildes der AuBenwelt durch die ; 
lichtstarkere Projektion zu vemieiden. In einem ersten 
Bildzyklus wird z. B. das Netzhautreflexbild aufgenom- 
men und in dem zweiten wird das verarbeitete elektro- 
nische BUd in das Auge projizien. in dem dritten Bildzy- 
klus wird eine Aufnahme des Netzhautreflexbildes u 
durchgefOhrt, in dem vierten wird wieder die Zuruck- 
projektion durchgefOhrt, usw. 

Wenn dieser Bildwechsel schnell genug ist, sorgt die 
Tragheit der Gesichtsinnes dafiir, daB beide Bilder dem 
Betrachter iiberlagert erscheinen, vorausgesetzt, daB 15 
die Zeitverzogerung fiir das in das Auge eingeblendete 
Bild unterhalb der Bewegungsdauer und Wahmeh- 
mungszeit des Auges liegt, und daB die Stabilitat und 
Aufldsung des eingeblendeten Bildes mit der Auflosung 
des Auges vergleichbar ist 20 

Damit, sowohl die unbewuBten schnellen Sakkaden- 
bewegungen des Auges mit einer mittleren Amplitude 
von 5 Bogenminuten und einer Dauer zwischen 10 und 
20 msec, als auch die schnellen Augenbewegungen von 
20* —30* /sec beim Verfolgen eines bewegten Objektes 25 
uber einen groBeren Winkel erfaBt werden konnen, 
muB die Bildwiederholfrequenz ausreichend hoch sein. 
Mit einer Wiederhoifrequenz zwischen 50 Hz bis 
100 Hz, sowie in der Femsehen- und Computertechnik, 
ist die Aufnahme den schnellsten Bewegungsvorgangen 30 
des Auges weitgehend angepaBt Dies gilt, sowohl fur 
einen Raster- als auch einen Spiralscan. 

Weitere technische Anfordenmgen an die Aufnahme- 
vorrichtung betrel^en die GroBe des erfaBten Gesichts- 
feldes und die Bildaufldsung der hier vorgeschlagenen 35 
Vorrichtung. Fur die meisten Anwendungen ist der Be- 
reich des scharfsten Sehens mit emem Durchmesser von 
10 und einer Anzahl von 7 Miilionen Zapfen (Bildpbcel) 
in der Netzhautgrube (Fovea) aber auch der angrenzen- 
de Bereich mit wesentlich geringerer Aufldsung bis et- 40 
wa 10° Durchmesser von Interesse. Far diese Unter- 
schiedlichen Aufldsungsanforderungen ist gerade der 
Spiralscan der Abtastspur besonders geeignet. 

Als Lichtquellen zur RQckprojektion der Bilder ms 
Auge sind Halbleiterlaser bzw. miniaturisierte Festkor- 45 
perlaser vorgesehen mit einer niedriger Dauerstrichlei- 
stung (< 300 M.W), die keine Gefahrdung des Auges 
venirsachen kannen. Mit der Verwendung von Halblei- 
terlasem kdnnte die Bildmodulation dlrekt uber ihre 
Stromversorgung durchgefahrt werden. Damit alle Far- 50 
ben erzeugt werden empHehlt sich die Verwendung von 
drei Lasem mit den Grundfarben ro^ gran, blau. Wie 
das bekannte Farbdreieckdes menschlichen Gesichtsin- 
nes zeigt kdnnen alle anderen Farben sowie die Unfar- 
ben grau und weiB durch Farbsummation von mono- 55 
chromatischen Laserlinien dieser Farben gebildet wer- 
den. Die Erfindung beinhaltet auch die Moglichkeit der 
Verwendung von emzelnen Farben als monochromati- 
sche Losung vor. 

Die Erfindung sieht wie in Fig. 7 dargestellt einen eo 
Signal-Prozessor SP vor, der das du-ekte Bild von der 
Netzhaut elektronisch bearbeitet und alle Funktionen 
der Vorrichtung sowie die von Scannem VSS/HSS und 
LaserfleckeinsteUung und GroBe der Gesichtsfeldblen- 
de LAA/GFB synchron koordiniert Der Bildverarbei- 65 
tungscomputer BVC iibemimmt dann die vom Auge 
wahrgenonunenen Bild Oder Bilder anderer technischer 
Sensoren die Qber einen extemen AnschluB £A dem 
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Computer zugefiihrt werden und bearbeitet sie nach 
einer vorgegebenen Software SW, bevor sie mit Hilfe 
des Signalprozessors auf die Laserstrahlen als Bildsignal 
aufmoduliert werden. 

} Die Laser-Projektion ermoglicht auBer der Verarbei- 
tung des aktuellen vom Computer verarbeitetes Bild in 
das Auge zu projizieren und mit dem Originalbild zu 
verschmelzen, auch Fremdbiider, die dem Computer 
von extern zugeleitet werden, dem AuBenbild im Auge 

I synchron zu uberlagem. Wenn die Zeitspanne zwischen 
Bildaufnahme und -Projektion im Vergleich zu den 
schnellen Augenbewegungen entsprechend kurz ist, 
wird das Auge, wie bei Betrachtung eines Fernsehschir- 
mes, keine Bildunterbrechung mehr wahmehmen. 

Die getrennte aber gleichzeitige Bildabtastimg an 
beiden Augen erfaBt auch die perspektivischen Unter- 
schiede beider Bilder. Da diese bei der Laser-Zuruck- 
projektion m beiden Augen erhalten bleiben, ist eine 
)^ederherstellung des riumlichen Sehens gewthrlei- 
stet 

AuBer der Projektion von den Netzhautbildem nach 
Bildverarbeitung zuruck ins Auge ermdglicht die hier 
vorgeschiagene Einrichtung nach Anspruch 25 auch die 
Projektion dieser Laserbiider direkt auf die in der Um- 
welt befindlichen und vom Auge gesehenen Gegenstan- 
de. Dies Ausfuhrung der Erfindung wird schematisch in 
Fig. 6 durch das Umklappen des Scanspiegels um einen 
Mnkel von 90*" schematisch dargestellt 

Die in der Erfindung verwendeten Bauelemente sind 
heute weitgehend miniaturisiert und kostengunstig er- 
haltlich. Die Strahlumlenkeinheit und Scanner kdnnen 
in einem einfachen BriUengestell B wie in Fig. 9 darge- 
stellt ist untergebracht werden. Mit Hilfe von Glasfaser- 
leitung GFL kdnnen Laserprojektionseinheit und Emp- 
fangseinheit abgesetzt in einem kleinen Geh&use TOE, 
z. B. der Gr5Be eines Taschenbuches mit Batteriever- 
sorgung untergebracht werdea Der Datenaustausch . 
mit einem extemen fest installierten Bildverarbeitungs- 
rechner kann entweder uber Radiowellen oder Infrarot- 
strahler erfolgen. Alle Elemente der Vorrichtung der 
Erfindung kdnnten nach dem heutigen Stand der Tech- 
nik somit von einem Menschen muhelos getragen wer- 
den und der drahtlose Bilddatenaustausch mit dem ex- 
temen Rechner wurde seine unbeschrinkte Bewe- 
gungsf reiheit ermoglichen. 

Die verschiedensten Einsatzbereiche der Erfmdung 
kdnnen in den nachfolgenden vier Kategorien zusam- 
mengefaBt werden: 

— Aufnahme von BUdera der AuBenwelt, ihre Ver- 
arbeitung, Zuruckprojektion und Versdimelzung 
mit dem Originalbild im Auge. 

— Oberlagerung von Bildera anderer Aufnahraesy- 
steme, z. B. in von der gleichen Szene in anderen 
Spektralbereichen auf das direkte Bild. 

— Oberlagemng von virtuellen Bildem, die alieine 
vom Computer hergestellt werden und 

— Aufnahme von Bildem der AuBenwelt und ihre 
Laser-Projektion nicht ins Auge, sondem auf die 
gleichen, vom Auge gesehenen Gegenstande der 
AuBenwelt 

In der ersten Kategorie sind Anwendungen mit dem 
Ziel, das von dem Auge aufgenonrmiene Bild durch ge- 
zielte Bildsummation zu verbessem, z. B. ein ver- 
schwommenes oder lichtschwaches Bild zu verscharfen 
und verstarken, was fur Sehbehinderte, aber auch fOr 
Normalsichtige von groBer Hilfe w^re. 
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Andere mogliche Bildanderungen waren z. B. die An- 
derung der Farbe von Objekten durch neue Farbsum- 
mation. Diese Technik konnte zur gezielten WeiBfar- 
bung von bestimmten Bereichen des Sehfeides, und da- 
mit zur Ausloschung oder Verminderung der optischen 5 
Informationen verwendet warden. 

Die zweite Kategorie beinhaltet Oberlagerung von 
Bildem der gleichen Szene z. B. aus dem unsichtbaren 
intraroten Bereich oder von Radargeraten. Diese Tech- 
nik wtirde 2. B. das Fahren oder Fliegen in der Nacht 10 
und bei Nebel oder Dunst wesentlich erleichtem. 

In medizinischen Anwendungen kOnnten z, B. R6nt- 
genbilder, akustische Bilder und Bilder vom Kemspinto- 
mographen dem direkten Bild des Kdrpers des Paten- 
tien oder seiner Organe zur Hiifestellung des Arztes bei 15 
der Diagnose und in der Chirurgie iiberlagert werden. 

Die dritte Kategorie umfaBt Anwendungen, in denen 
das Bild durch virtuelle Zusatzeinblendungen erganzt 
werden, wie z. B. in den Anwendungen der heutigen 
HUDs bei dem Fiihren von Fahrzeugen. Die Erfindung 20 
bietet den zusauiichen Vorteii der exakten Synchroni- 
sation der Einblendung mit dem AuBenbild. Dadurch 
kdnnten Fremdbilder auf genau definierten frcien Stel- 
len innerhalb des Direktbildes, z. B. mit geringem Bildin- 
halt, Oder als Stereobild in einer anderen Entfemung als 25 
die Qbrigen Gegenstande, eingeblendet werden. 

Zu dieser dritten Kategorie gehoren interaktiye An- 
wendungen aus der Computertechnik, d. h. die Einblen- 
dung einer virtuellen Computermaus (21ielkreuzes), die 
alleine mit den Augenbewegungen (anstatt mit der 30 
Hand) ttber reale Gegenstande der AuBenwelt (auch 
Display) gef uhrt werden. Das Anklicken, oder ein Befehl 
kdnnte hier durch zusitzliche Augenbewegungen z. B. 
Augenlidschlag, oder Stimme oder mit Tastendruck aus- 
gefixhrt werden. 35 

Diese dritte Kategorie beinhaltet auch cyberspace- 
Anwendungen, d.h. die Einblendung von virtuellen 
ComputervoUbildem in die geschlossenen Brillen. Mit 
Hilf e der Erfindung kdnnten Aufnahmen des Netzhaut- 
bildes der eingeblendeten virtuellen Bilder genutzt wer- 40 
den, um diese gegenQber den Augenbewegungen zu sta- 
bilisieren. 

Die vierte Kategorie beschreibt eine Art "aktives Se- 
hen", d h. eine vom Auge gesehene und von der Abtast- 
vorrichtung aufgenommene Szene wird in dem nich- 45 
sten Abtastzyklus mit einem Laser-Bildscheinwerfer se- 
riell beleuchtet Diese so beleuchtete Szene wird wieder 
vom Auge wahrgenommen und fiihrt in dem darauffol- 
genden Zyklus zu einem verandertem zweiten Laser- 
Beleuchtungsvorgang, der von einem dritten Vorgang, so 
usw. gef olgt wird 

In dieser Weise entsteht eine optische RUckkoppe- 
lungsschleife, die durch eine entsprechenden Auslegung 
der Beleuchtung als positive oder negative Ruckkoppe- 
lung fur die verschiedensten Anwendungen genutzt 55 
werden kann, z. B. um schwach erkennbare Objekte zu 
erhellen, deren Kontrast zu erhohen oder ihre Farbe zu 
andera 

Patentanspriiche 60 

1. Vorrichtung zur Aufnahme des auf der menschli- 
chen Netzhaut des Auges abgebildeten Bildes der 
AuBenwelt mit Hilfe einer scannenden Aufnahme- 
vorrichtung, dadurch gekennzeichnet, daB die 65 
Strahlen der AuBenweh durch die Giaser einer 
Brille transmittiert werden, die auf ihren Innensei- 
ten als gewdlbte abbildende Strahlteilerspiegel ge- 
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staltet sind und daB zur Aufnahme des von jedem 
Punkt der Netzhaut zuriickgestreuten und aus dem 
Auge austretenden parallelen Strahlenbundel und 
zu ihrer Abbildung und Umlenkung eine zweiachsi- 
ge Scanvorrichtung vorgesehen ist, die das Licht- 
bundel zu einem opto-e!ektronischen Detektor zur 
seriellen Aufnahme des Netzhautreflexes weiterlei- 
tet 

2. Vorrichtung nach Anspruch 1, dadurch gekenn- 
zeichnet, daB mit Hilfe eines Strahlteilers Laser- 
strahlen uber den gleichen lichtweg, die gleiche 
Scanvorrichtung sowie Abbildung und Umlenkung 
an der Innenseite der gewdlbten BriUenglaser in 
umgekehrter Richtung wie das Reflexbild auf die 
Netzhaut abgebildet werden. 

3. Vorrichtung nach Anspruch 1 und 2, dadurch 
gekennzeichnet, daB mit Hilfe eines StrahJumschal- 
ters Laserstrahlen uber den gleichen Lichtweg, die 
gleiche Scanvorrichtung sowie Abbildung und Um- 
lenkung an der Innenseite der gewdlbten BriUen- 
glaser in umgekehrter Richtung wie das Reflexbild 
auf die Netzhaut abgebildet werden. 

4. Vorrichtung nach Anspruch 1 bis 3, dadurch ge- 
kennzeichnet, daB die momentane optische Sca- 
nachse von Scanner aus gesehen in ihrer Verlange* 
rung durch das Brillenglas immer in eine lichtabsor- 
bierende Strahlungssenke veriauft 

5. Vorrichtung nach Anspruch 1 bis 4, dadurch ge- 
kennzeichnet, daB die Abbildung und Umlenkung 
der von Scanner ausgehenden StrahlenbQndel vor 
der Umlenkung der Brille ins Auge mit Hilfe eines 
konkaven Hilfsspiegels abgebildet und umgelenkt 
werden. 

6. Vorrichtung nach Anspruch 1 bis 4, dadurch ge- 
kennzeichnet, daB die Abbildung der von Scanner 
ausgehenden StrahlbGndel vor der Umlenkung der 
Brille ins Auge sowohl mit Hilfe eines konkaven als 
auch konvexen Hilfsspiegels abgebildet und umge- 
lenkt werden. 

7. Vorrichtung nach Anspruch 1 und 2, dadurch 
gekennzeichnet, daB die Bildabtastung und Laser- 
projekdon im Auge gegeneinander zeitlich ge- 
trennt und altemierend mit einer festen Bildfre- 
quenz durchgefOhrt werden. 

S, Vorrichtung nach Anspruch 1 bis 3, dadurch ge- 
kennzeichnet, daB wahrend der Periode der Bildab- 
tastung zeitweise auch eine Laserbildprojektion ms 
Auge durchgef Uhrt wird 

9. Vorrichtung nach Anspruch 1 bis 4, dadurch ge- 
kennzeichnet, daB die Abtastspur ilber die Netz- 
haut entsprechend den bekannten 'Wdeo-Normen 
mit der Ablenkeinheit gefilhrt wird 

10. Eine Vorrichtung nach den Anspruchen 1 bis 9, 
dadurch gekennzeichnet, daB die Abtastspur ra- 
sterformig iiber die Netzhaut mit einer entspre- 
chenden Auslegung und Ansteuerung der Scanvor- 
richtung durchgefOhrt wird 

11. Vorrichtung nach Anspruch 1 bis 9, dadurch 
gekennzeichnet, daB die Abtastspur spiralfdrmig 
tiber die Netzhaut mit einer entsprechende Ausle- 
gung und Ansteuerung der Scanvorrichtung ge- 
f uhrt wird 

12. Vorrichtung nach Anspruch 1 bis 11, dadurch 
gekennzeichnet, daB im optischen Empfangskanal 
mit Hilfe von mehreren Strahlteilem und Photode- 
tektoren mehrere spektrale Bereiche des Emp- 
fangssignals unabhangig voneinander detektiert 
werden kdnnen. 
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13. Vorrichtung nach Anspruch 1 bis 12, dadurch 
gekennzeichnet, daB im Beleuchtimgskanai mit Hil- 
fe von Strahlteilern mehrere Laserstrahlen auf die 
gleiche Strahlachse gebracht werden konnen und 
dadurch gemeinsam auf die Netzhaut abgebildet 5 
werden kdnnen. 

14. Vorrichtung nach Anspruch 1 bis 13, dadurch 
gekennzeichnet, daB der Strahlengang der Laser- 
projektionseinheit und Empfangseinheit mit einer 
starren Strahlfuhrung ausgelegt ist 10 

15. Vorrichtung nach Anspruch 1 bis 13, dadurch 
gekennzeichnet, dafl der Strahlengang der Laser- 
projektionseinheit mit Lasem, Bildmodulatoren 
und Strahlteilern Uber eine Glasfaser an den Strahl- 
umschalter gef uhrt wird. 15 

16. Vorrichtung nach Anspruch 1 bis 14, dadurch 
gekennzeichnet, daB der Strahlengang der Emp- 
fangseinheit mit Photoempfangem und Strahltei- 
lern fiber eine Glasfaser an die Strahlumschaltein- 
heit gefuhrt wird. 20 

17. Vorrichtung nach Anspruch 1 bis 16, dadurch 
gekennzeichnet, daB im Strahlengang der Laser- 
projektionseinheit eine Strahlfokussiereinrichtung 
integriert ist womit die GrdBe des Bildflecks der 
Laser auf der Netzhaut variiert werden kann. 25 

18. Vorrichtung nach Anspruch 1 bis 17, dadurch 
gekennzeichnet, daB im Strahlengang der Emp- 
fangseinheit eine variable Gesichtsfeldblende inte- 
griert ist womit die GroBe des Abtastflecks auf der 
Netzhaut variiert werden kann. 30 

19. Vorrichtung nach Anspruch 1 bis 1S> dadurch 
gekennzeichnet, daB das von den Photoempfan- 
gem aufgenommene Bild einem Bildverarbeitungs- 
computer zugeleitet wird der synchron mit der 
Bildabtastung die aufgenommenen Bilder bearbei- 35 
tet 

20. Vorrichtung nach Anspruch 1 bis 19, dadurch 
gekennzeichnet, daB das von einem Bildverarbei- 
tungscomputer verarbeitete Bild der Netzhaut, mit 
Hilfe von elektro-optischen Modulatoren im Strah- 40 
lengang der einzelnen Laserstrahlen ein Bild syn- 
chron aber zeitversetzt mit der Abtastung auf der 
Netzhaut entstehen laBt 

21. Vorrichtung nach Anspruch 1 bis 20, dadurch 
gekennzeichnet, daB Fremdbilder von anderen 45 
Sensoren als dem Auge in dem Bildverarbeitungs- 
computer mit dem dort abgespeicherten momenta- 
nen Netzhautbild drtlich und zeitlich synchronisiert 
wird und mit den Laserstrahlen zeitversetzt ins Au- 
ge projiziert werden. 50 

22. Vorrichtung nach Anspruch 1 bis 21, dadurch 
gekennzeichnet, daB Informationen im Computer 
generiert in dem Bildverarbeitungscomputer mit 
dem dort abgespeicherten momentanen Netzhaut- 
bild drtlich und zeitlich synchronisiert wird und mit 55 
den Laserstrahlen ins Auge projiziert werden. 

23. Vorrichtung nach Anspruch 1 bis 22, dadurch 
gekennzeichnet, daB mit Hilfe eines optischen 
Schalters das AuBenlicht vor der Brille teilweise 
Oder ganz zusperrt 60 

24. Vorrichtung nach Anspruch 1 bis 22, dadurch 
gekennzeichnet, daB bei verminderter oder ge- 
sperrter Sicht nach auBen und bei Projektion von 
Laserbildem von fremden Sensoren oder Compu- 
tern auf der Netzhaut auch w^hrend der Laserpro- es 
jektion diese Bilder von den Detektoren aufgenom- 
men und dem Bildverarbeitungscomputer zuge- 
fOhrt werden. 



25. Vorrichtung nach Anspruch 1 bis 24, dadurch 
gekennzeichnet, daB die von der Netzhaut aufge- 
nommenen Bilder der AuBenwelt durch Umklap- 
pen des Strahlenganges um 180° gegenaber dem 
Achsenveriauf ins Auge den Strahl in die AuBen- 
welt zur Beleuchtung der von dem Auge gesehenen 
Objekte mit dem vom Rechner abgeleiteten Laser- 
bild verwenden. 
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